iT邦幫忙

2023 iThome 鐵人賽

DAY 21
0
自我挑戰組

AI對我們的影響系列 第 21

Day 21:自然語言處理研究的難點

  • 分享至 

  • xImage
  •  

單詞的邊界界定

在口語中,詞與詞之間通常是連貫的,而界定字詞邊界通常使用的辦法是取用能讓給定的上下文最為通順且在文法上無誤的一種最佳組合。在書寫上,漢語也沒有詞與詞之間的邊界。

詞義的消歧

許多字詞不單只有一個意思,因而我們必須選出使句意最為通順的解釋。

句法的模糊性

自然語言的文法通常是模稜兩可的,針對一個句子通常可能會剖析(Parse)出多棵分析樹(Parse Tree),而我們必須要仰賴語意及前後文的資訊才能在其中選擇一棵最為適合的剖析樹。

有瑕疵的或不規範的輸入

例如語音處理時遇到外國口音或地方口音,或者在文字的處理中處理拼寫,語法或者光學字元識別(OCR)的錯誤。

語言行為與計劃

句子常常並不只是字面上的意思;例如,「你能把鹽遞過來嗎」,一個好的回答應當是動手把鹽遞過去;在大多數上下文環境中,「能」將是糟糕的回答,雖說回答「不」或者「太遠了我拿不到」也是可以接受的。再者,如果一門課程去年沒開設,對於提問「這門課程去年有多少學生沒通過?」回答「去年沒開這門課」要比回答「沒人沒通過」好。


上一篇
Day 20:一些NLP面臨的問題實例
下一篇
Day 22:NLP的任務和限制
系列文
AI對我們的影響30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言